#Open-Ended Tasks

3 篇

Flux-OPD: On-Policy Distillation with Evolving Contexts

Flux-OPD：使用进化上下文的策略蒸馏

🧭 进化上下文下的策略蒸馏方法 ★ 深度解读

Peking University · Kling Team · Tsinghua University · Shanghai Jiao Tong University · Zhongguancun Academy

通过反向KL分解揭示蒸馏目标为几何平均，用进化上下文进行校正和加权，解决开放域任务缺乏可验证奖励的问题

📌 工作参考价值（4 点）

动态上下文的思路可迁移到实时偏好学习：在推荐/Agent场景，用户实时行为轨迹类似论文中的进化上下文，可以周期性地从学生最新生成结果中提取偏好信号，注入蒸馏目标，持续对齐用户兴趣变化。
几何平均作为多教师融合目标更稳健：当多个教师分布（如不同模态、不同专家）存在冲突时，取几何平均而非算术平均能强化高一致性下的监督，减弱分歧影响，可用于多目标蒸馏或ensemble融合。
冲突项作为自适应加权信号：方法中利用冲突项（−log Z）动态调节上下文影响力，类似于多任务学习中根据梯度冲突调整损失权重；电商推荐中多目标（如点击率与转化率）冲突时，可借鉴该机制去无痛地平衡。
校正锚点策略可稳定生成式推荐训练：将上下文差异作为修正信号叠加在稳定锚点（如常规教师分布）上，避免蒸馏目标剧烈震荡，适合需要保持生成稳定性的场景（如商品描述生成、广告文案改写）。

Training | 2026-07-29 | HF Daily | score 8/10

SCOPE：无外部监督的协同进化自博弈框架

🧭 Self-Play协同进化 · 开放式任务训练

University of Edinburgh · Imperial College London · Miniml.AI

通过挑战者与求解器协同进化和自我评分机制，无需外部监督即可提升LLM在开放式任务上的表现

📌 工作参考价值（4 点）

自博弈对抗生成训练数据：在电商推荐中，可让一个模型生成“用户需求描述”（挑战者），另一个模型给出推荐结果（求解者），通过自我评判打分，无需人工标注即可持续提升推荐质量。
基于源文档的自动评分标准生成：self-judge 从文档自动生成评估准则的机制，可直接用于商品搜索、文案生成等场景的自动化评估，替代人工或大模型评判。
协同进化的课程学习：挑战者根据求解者表现动态调整任务难度，这一思想可用于推荐模型的训练数据采样，从简单到困难逐步提升模型能力，避免训练饱和。
多轮检索与合成优化：Solver 的多轮检索回答模式类似 Agent 的多次信息获取，其训练方法可迁移到电商 Agent 的检索策略优化，提升信息收集与综合能力。

Training | 2026-05-28 | HF Daily | score 7/10

ARES：面向可扩展LLM强化学习的自动化评分标准合成

🧭 LLM 强化学习 · 自动评分标准生成

University of Science and Technology of China · Alibaba Group · National University of Singapore

从预训练文档自动生成问题及实例级加权评分标准，实现开放性任务的大规模强化学习

📌 工作参考价值（4 点）

电商客服评价可借鉴：自动生成多维度加权评分标准（如态度、准确性、完整性），取代单一点赞/点踩信号，实现细粒度 RL 训练。
生成式推荐中的解释文本评估可用类似 pipeline：从商品知识库生成问答对，合成评估标准，训练模型生成更符合多维质量要求的推荐理由。
数据增强策略可复用：利用领域标签和角色信息控制生成多样性，结合 self-containment、faithfulness 等过滤器保证合成数据质量，适合构建领域 RL 训练集。
对于 Agent 工具调用等开放性任务，可将任务要求转化为评分标准，自动构造 RL 数据，减少人工设计 reward 的成本。

Training | 2026-05-22 | cs.CL | score 7/10